VPP初始化流程和图节点调度机制

关键词： VPP dpdk VPP初始化 图节点调度

VPP（Vector Packet Processing）是Cisco的FD.io项目组的核心开源项目，它实现了在用户空间的快速转发平面，解决了传统标量报文处理过程中遇到的I-cache 不命中和I-cache抖动等问题。VPP具有高性能、模块化、可扩展等优势，且包含了二层交换、三层路由、ACL、IPsec等丰富的功能特性。

VPP将各个网络功能模块划分成图节点（Graph Node），矢量数据包在由图节点构成的有向图间流动。VPP采用dpdk作为收发包框架，并且采用dpdk_input节点作为其报文输入节点。本文将结合VPP源码，着重阐述VPP初始化流程以及VPP图节点调度机制。

当在VPP的命令行中输入show init-function命令时，可以看到以下输出结果：

显示的结果都是VPP在进入main函数loop循环之前的初始化函数。VPP初始化的实现代码是src/vlib/init.h，通过宏VLIB_INIT_FUNCTION来定义构造函数和析构函数。以初始化函数avf_init为例，上述宏定义的代码展开如下所示。

在avf_init的构造函数中，先通过vlib_get_main()获得指向vlib_main_t结构体的指针vm，再通过vm->init_function_registrations注册avf_init函数，构成由_vlib_init_function_list_elt_t结构体组成的初始化函数的单链表。同样在avf_init的析构函数中，我们可以看到while代码实现的功能就是遍历整个单链表寻找avf_init函数节点，找到节点后将avf_init节点从链表中删除。

src/vpp/vnet/main.c中的main函数是程序的入口，函数首先完成对VPP配置文件startup.conf的加载和解析，获取诸如heapsize、plugin_path等配置参数的值。再在defaulted代码中，利用这些参数完成相应的初始化操作。通过clib_mem_init_thread_safe函数完成主函数main堆的分配，堆的大小的默认值是1G，在main函数首部uword main_heap_size = (1ULL init_functions_called = hash_create (0, /* value bytes */ 0); vpe_main_init (vm); return vlib_unix_main (argc, argv); ## 最后一步调用函数vlib_unix_main } else { { int rv __attribute__ ((unused)) = write (2, "Main heap allocation failure!\r\n", 31); } return 1; } }1.3 vlib_unix_main函数

vlib_unix_main函数在src/vlib/unix/main.c中。其源代码如下所示。

在vlib_unix_main函数中，首先通过vlib_plugin_config函数从命令行加载和配置插件。再调用vlib_plugin_early_init函数实现在main函数之前初始化插件。需要注意的是，vlib_plugin_early_init函数是通过调用vlib_load_new_plugins函数来加载插件目录，vlib_load_new_plugins函数将会调用load_one_plugin函数，load_one_plugin函数会通过dlopen函数加载插件目录下的所有插件。vlib_unix_main函数调用vlib_call_all_config_functions来对命令行的选项进行解析，完成相应的配置。

vlib_thread_stack_init函数初始化线程栈，并将os线程指定为索引0线程。vlib_unix_main最后调用clib_calljmp函数，clib_calljmp函数使用thread0作为回调函数，thread0也是初始化得到的线程。在thread0函数中，函数跳转到src/vlib/main.c中的vlib_main函数。

vlib_main函数的源代码如下所示。

在vlib_main函数中，通过vlib_register_all_static_nodes注册所有的静态节点，通过vlib_node_main_init函数初始化节点图，通过vlib_call_all_config_functions配置子系统，然后进入vlib_call_all_main_loop_enter_functions的主循环，完成所有函数的初始化。vlib_main函数最后调用vlib_main_loop函数，此函数是thread0的主循环。

在src/vlib/main.c函数中定义了两个循环函数，vlib_main_loop与vlib_worker_loop。vlib_main_loop对应的就是thread0线程，即控制平面；而vlib_worker_loop对应的是worker线程，即数据平面。两个函数都调用vlib_main_or_worker_loop函数进入循环。我们仅关注vlib_main_loop的循环，可以看到在while(1)循环中，涉及到以下内容：

pending frames

VPP中的图节点分为四种类型：

VPP图节点调度涉及如下结构体：

vlib_main_loop函数负责调度图节点。基本的矢量数据包的处理流程很简单，首先由一组输入图节点产生矢量数据包，再由图节点调度函数将矢量数据包推向有向图，并根据需要将数据包细分，直到原始的矢量数据包已被完全处理，然后继续重复这个过程。

vpp的函数调用更像是一种各个节点之间相互连接，通过决定下一跳节点的路径在确定整个代码的执行路径。同样这种方式的函数调用提供了很低的耦合性，所以基于这种方式的二次开发不用太多考虑各个模块之间的相互影响，甚至可以完全不用考虑，自己定义的节点根据格式给出相应的回调函数来插入自定义的功能，下面是一个简单转发的node调用图。